Khái niệm tăng hạng nặng có xuất phát từ chiến tranh thế giới thứ nhất và cùng tồn tại với tăng hạng nhẹ và tăng hạng trung cho tới kết thúc chiến tranh lạnh với sự leo thang xe tăng.

Chiến tranh thế giới

Chiếc xe tăng Anh đầu tiên, Mark I của chiến tranh thế giới thứ nhất, đã được giới thiệu là đánh xuyên qua tuyến phòng thủ chiến hào và dây kẽm gai quân Đức. Khi một chiếc tăng nhẹ hơn được giới thiệu thì nó được đặt tên là "Mark A hạng nhẹ" (và được biết như giống chó đua Whippet), chiếc nặng hơn thì được biết là "hạng nặng"

Xe tăng "Char 2C" được biết là một trong những chiếc xe tăng lớn nhất từng chế tạo. Vào lúc đầu chiến tranh thế giới thứ hai, Pháp và Liên Xô là hai quốc gia duy nhất có chứa những chiếc tăng hạng nặng, như là Char B1, T-35 và KV-1. Tăng bộ binh Matilda II không nặng như những chiếc khác nó được thiết kế cho bộ binh anh và có giáp mỏng hơn hầu hết những tăng khác phục vụ vào thời điểm đó. Chiến tranh về sau này, những chiếc xe tăng hạn nặng ngày càng được tăng cường về vỏ giáp và hỏa lực, tiêu biểu là Đức với loại Tiger I và II, cũng như Liên Xô với dòng xe tăng IS. Đáng chú ý rằng "hạng nặng" đánh với "hạng trung" là một câu hỏi chiến thuật hơn trong lượng của chúng; ví dụ như tăng hạng trung Panther của Đức lại nặng hơn hầu hết xe tăng hạng nặng của đồng minh.

Trong thế chiến 2, Quân đội Mỹ không có đội xe tăng hạng nặng, họ sử dụng loại pháo tự hành chống tăng trong trận chiến xe tăng, trong khi xe tăng hạng trung M4 Sherman của họ chủ yếu làm nhiệm vụ yểm trợ bộ binh tấn công vào phòng tuyến đối phương.

Chiến tranh lạnh

Thời hậu chiến được biết với những cuộc leo thang tăng hạng nặng cuối cùng, bao gồm những chiếc tăng hạng nặng của Mỹ US M103, tăng Anh FV214 Conqueror, và tăng của Pháp ARL 44, tất cả được đáp trả với những hình thức tăng hạng nặng của Liên Xô khác. Súng chính lớn nhất đã được lên đạn bằng tay bởi lính xe tăng, đạt giới hạn độ lớn viên đạn mặc dù sử dụng hai thành phần đạn và đầu đạn nguy hiểm (vật phóng và thuốc đẩy), đạn này làm chậm tốc độ bắn. Nhờ vào sự phát triển về công nghệ điều khiển và thiết kế súng chính, tăng hạng trung thời hậu chiến đã đuổi kịp tăng hạng nặng về hỏa lực. Chiến lược sử dụng tăng hạng nặng là dùng để nhắm vào tăng hạng nhẹ và tăng hạng trung của đối phương trong sự leo thang xe tăng (MBT). Lý thuyết đã đặt ra rằng pháo tự hành sẽ giảm chi phí khi phục vụ bộ binh. Trọng lượng xe tăng chính yếu (MBT) này nhanh chóng tăng trong chiến tranh lạnh, và hầu hết thế hệ thứ ba của MBTs bao gồm M1 Abrams, Challenger 2, Leopard 2, Merkawa, Arjun MBT, Type 99 có khối lượng gần giống những loại tăng hạng nặng thời 1950.

Những loại tăng cũ hơn dùng vỏ giáp thép đã bị lỗi thời vì có tên lửa hành trình chống tăng và đạn chống tăng (HEAT). Tên lửa chống tăng rất linh hoat khi tấn công tăng ngoài tầm bắn của nó và vỏ giáp dày làm bật đầu đạn thì không còn bảo đảm sự tồn tại khi chống trọi với loại đạn chống tăng HEAT hoặc tên lửa lớn.